张胜茂1,2，孙永文1,2，樊伟2，唐峰华2，崔雪森2，伍玉梅2

(1.大连海洋大学 航海与船舶工程学院，辽宁 大连 116023； 2.中国水产科学研究院东海水产研究所 农业农村部渔业遥感重点实验室，上海 200090)

摘要:随着全球渔业资源不断衰退，各国渔业机构和区域渔业管理组织采用渔业观察员方式促进渔业可持续捕捞，但人类观察员方式成本高、覆盖率低，难以满足管理需要。近年来，深度学习新模型不断涌现和完善，其检测速度、精度均在不断增强，为其应用于海洋渔业捕捞生产监控提供了条件。本文从数据获取、数据预处理、算法设计、模型训练和精度评价等方面，总结了渔业捕捞生产监测模型的构建过程，以渔船与渔船行为、渔获物、渔场预报、船员和渔具为对象，综述了深度学习技术在海洋渔业捕捞中的应用，并提出利用迁移学习或强化学习等方法来拓展识别目标种类及增强检测模型、利用高精度的特征提取网络提高目标分类准确率、通过边缘计算技术解决电子监控数据实时解析及制定统一标准以规范电子监控在渔业管理中的应用等未来重点研究方向，以期为深度学习在海洋渔业捕捞生产中的推广应用提供科学参考。

关键词: 深度学习；目标检测；渔获物识别与量测；卷积神经网络；海洋渔业捕捞生产

2019年，全球海洋捕捞年产量约8 000万t，其中，四分之一的种群处在生物不可持续水平上捕捞，兼捕的海龟Chelonia mydas、海鸟、鲸豚等，在捕捞过程中也面临威胁[1]。随着生产方式的转变，渔业观察员制度可有效减少渔业捕捞中的兼捕，在资源养护和管理中起着至关重要的作用。然而，人类观察员方式执行成本高、覆盖率低。如观察员制度比较完善的金枪鱼延绳钓覆盖率仅为5%，受新冠疫情影响，观察员派遣更加困难。而且该制度记录数据时效性差，受主观因素影响，有时所收集的数据不够客观可靠[2]。近年来，计算机视觉技术发展迅速，电子监控(electronic monitoring,EM)为人类观察员计划提供了有益补充。推广电子监控可降低监测成本、扩大覆盖范围，同时可以客观地监督渔船捕捞活动，减少弃鱼量，维护海洋生态环境健康的可持续性[3]。海洋渔业资源的充分开发已经受到各国重视，各国均不断加强捕捞监管，并投入了大量的人力、物力，通过引入新的技术手段，以自动获取、分析渔船作业现场数据，掌握渔场捕捞状况，进而提升相关管理的科学性、可靠性和便利性。

深度学习是通过构建具有较多隐藏层的机器学习模型并储存海量的训练数据，学习更有用的目标特征，进而提升分类和预测的准确性的一种技术。随着深度学习技术的快速发展，其在海洋领域的应用趋于成熟，在海洋捕捞[4-5]、保护珍稀海洋生物[6-7]等方面取得了突破性进展。如利用渔获物图像或视频帧识别渔获物及计算渔获物数量，并通过测量渔获物体长、体宽，进而预估捕捞努力量，以及利用卫星遥感影像识别船舶等。目前，在上述具体应用中利用深度学习方法所取得的准确率，基本可以满足业务化需求，但由于海洋环境复杂、背景噪音和图像失真等问题，准确识别实地场景中的渔获物、船舶和网具等遇到了各种挑战。因此，在实际的海洋环境中，如何快速准确地识别、测量实地对象，仍存在许多需要加强的领域，如不同类型渔船的检测与识别，以及提高相似鱼种的识别准确度等。本文从数据获取、数据预处理、算法设计、模型训练和模型精度评价等方面，总结了渔业捕捞生产监测模型的构建过程，以渔船与渔船行为、渔获物、渔场预报、船员和渔具为对象，综述了深度学习技术在海洋渔业捕捞中的应用，并针对实际应用中存在的问题，提出了未来重点研究方向。

在20世纪初，深度学习模型就已经运用于测量鱼类的大小，但受当时计算机算力低等限制未能推广。随着计算机算力的提升，以及各种检测速度快、检测精度高的模型诞生，国内外学者开展了大量深度学习应用于海洋渔业捕捞生产领域的研究。2017年，Tung等[8]开发的VGG-16(visual geometry group-16)、Inception-V3两个卷积网络分类器，实现了金枪鱼Thunnus、比目鱼Pleuronectiformes、大青鲨Prionace glauca的识别，VGG-16的准确率达94.5%，Inception-V3的准确率达92.25%。2019年，陈英义等[9]针对背景干扰较强、鱼类目标偏小等因素导致训练结果较差的问题，构建了FTVGG-16(fine-tuning VGG-16)卷积神经网络(convolutional neural network, CNN)，对长鳍金枪鱼Thunnus alalunga、大眼金枪鱼Thunnus obesus、黄鳍金枪鱼Thunnus albacores、鯕鳅Coryphaenidae、月光鱼Xiphophorus maculatus、大青鲨和带鱼Trichiurus lepturus进行训练识别，平均准确率为97.66%，FTVGG-16模型优于VGG-16、VGG-19和ResNet-50(residual network-50)。2019年，Fitzgerald等[6]运用CNN和CNN结合支持向量机(support vector machine，SVM)，对莱桑信天翁Phoebastria immutabilis、黑脚信天翁Phoebastria nigripes和北富尔马信天翁Fulmaris glacialis等11种海鸟副渔获进行识别，总体平均正确率达93.0%。2018年，Allken等[10]开发了一个Inception-V3神经网络，可自动分类来自深度视觉拖网摄像头系统图像中的物种，包括蓝鳕Micromesistius poutassou、大西洋鲱Clupea harengus和鲭Pneumatophorus japonicus等，准确率达到94%。2020年，Zhong等[7]构建了一个集成的CNN模型(AlexNet、VGG16、ResNet、DenseNet)，经过训练被动声学，可将白鲸Delphinapterus leucas检测结果分类为真或假，准确率达到96.57%。2020年，Tseng等[11]设计了一种可识别鱼头、鱼尾叉和色板的CNN分类器，通过估算鱼类体长，实现鱼类体长的自动测量，模型检测准确率为98.78%，鱼体体长的平均绝对误差和测量的平均相对误差率分别为5.36 cm和4.26%。2020年，Hu等[12]运用改进的Fast R-CNN模型开发了一种可识别北太平洋火枪乌贼Loligo beka、褶鱿鱼Todarodes pacificus、柔鱼Acalamary的手持图像采集系统，测试准确率为85.7%，平均运行时间为0.144 s。2020年，Tseng等[13]提出了一种使用Mask R-CNN在电子监控系统视频中自动预筛选收获鱼的方法，运用该模型可识别金枪鱼、马林鱼Histiophorus orientalis、大青鲨及浮标，鱼类检测与鱼类识别平均检测精度(mean average precision，MAP)为93.51%和98.06%。2021年，Chen等[14]提出了运用一种改进的YOLOv3(you only look once v3)模型(AE-YOLOv3)，训练合成孔径雷达(synthetic aperture radar，SAR)影像识别6种船，该模型对矿石船、散货船、普通货船、集装箱船、渔船和客船的检测精度平均达98.72%，优于Fast R-CNN、YOLOv3两种深度学习模型。

除了直接对鱼类应用深度学习技术之外，在利用单一的深度学习模型，其准确率难以提高的情况下，有学者提出了一些改进方案。2018年，顾郑平等[15]为解决小规模数据集需要人工提取特征的不可迁移性，运用卷积神经网络CNN鱼类分类模型与SVM模型的混合分类模型识别23类鱼种，准确率达98.6%。2021年，Fu等[5]提出了一种从二维海洋环境模式预测鲣鱼Katsuwonus pelamis捕捞量的方法，该方法第一阶段运用了Faster R-CNN模型训练海温图，提取出候选的鲣鱼在地图上的位置，第二阶段运用了支持向量回归(support vector regression，SVR)估计捕获量，结果显示，提出的方法比普通渔民预测捕捞量的准确率平均提高3%。

深度学习在海洋捕捞生产中的主要应用对象有渔船与渔船行为、渔获物、渔场预报、船员和渔具。深度学习技术在海洋领域的应用多围绕解决有效监管渔获物滥捕及人员安全问题，进行渔船、渔具和预测渔场位置等研究也是为了更好地监管。有关深度学习技术的更多研究则是直接检测渔获物。随着常见海洋渔获物的识别、分类和尺寸测量的准确率进一步提高，以及被识别生物的种类是否属于受保护生物、生物的生长阶段及生物开始出现至最终出现的区域等细化分析程度的增强，深度学习为预估捕捞量、预测捕捞区域和设置海洋生物保护区等方面提供了重要的技术支持，并为国家海洋牧场建立了更加完善的自主监管系统。但相关技术应用仍然存在挑战：数据量少，数据扩充后的实地有效数据量仍不能达到提高模型准确度的效果；数据标签需要人工标注，较费时；目前可使用的模型仍不能同时满足海洋渔业捕捞生产实时的高精度、高检测速度。

深度学习方法应用于海洋捕捞生产智能识别领域中，可实现目标的检测与识别。应用深度学习方法的过程一般包括数据获取、数据预处理、算法设计、模型训练和模型精度评价(图 1)。首先获取原始数据，对于传送到模型的原始数据或文件，均有或多或少的背景噪音，符合基本训练要求的数据量有限，若直接进行模型训练，效果一般较差。因此，在模型训练初始阶段，需要运用预处理方法处理数据，生成数据集。经过预处理后的数据可直接选择已训练好的经典算法，在此基础上进行微调模型或固定特征模型训练，也可设计新的模型重新训练。创建完成模型之后，将训练集(一般将处理好数据的70%～80%作为训练集)导入模型中进行训练，训练结束后导入测试集(剩余数据的20%～30%作为测试集)测试模型精度。

图1 深度学习一般流程图Fig.1 General flowchart of deep learning

数据获取是模型训练的基石，采用适当方法获取画质高清且数量足够的待识别目标的数据，可大大减少预处理工作量，并提升模型的识别准确率。目前，获取实际场景数据的主要方法有卫星拍摄[6]、海上无人机录像[7]、船上安装电子监控系统[8-19]、船上安装声呐[20]和船上安装水听器[21]等。具体获取数据的工具及其用途如表1所示。

表1 获取数据的工具及其用途Tab.1 Tools for obtaining data and their uses

搭载平台carrying platform拍摄工具shooting tool数据特点data feature技术应用technology application缺点defect卫星 satellite合成孔径雷达、高分可见光遥感可获取高清的、高概括性数据,费用较高获取SAR、光学遥感影像,数据可用于识别船舶类型对于密集排列的船舶识别效果不好无人机 unmanned aerial vehicle,UAV高精度相机可获得短周期高清视频数据和图像,携带方便获取包含鱼群、渔船录像,数据可用于寻找鱼群、识别渔船类型一次性获取的数据量较少;需要专业技术人员操作;受海风等因素影响较大船载监控(船头、船尾、船舷、渔获物加工处和传送带)on-board monitoring(ship head,ship stern,ship side,catch processing place, and conveyor belt)不同焦距相机可获取长周期视频高清数据,数据完整性高,获取的数据可重复利用,易安装获取渔获物、渔船状态和渔具等数据,数据可用于鱼类识别、鱼体大小测量摄像头位置需要根据不同的船预先选定;需要专业人员维护水下监控underwater monitoring高精度相机、声呐、水听器可获取短周期高清视频、音频数据,获取的数据可重复利用获取水下鱼种数据,数据可用于识别鱼种和鱼体规格获取数据中噪音较多;无效数据较多

在实际应用中，选择合理的数据预处理方法，将极大地提高模型训练精度和泛化能力。用于海洋捕捞生产数据的预处理方法较多，常用方法有数据清洗、数据增强和数据打标签等。表2简述了海洋捕捞生产中常用的数据预处理方法、特点和适用场景，其中，数据清洗是模型训练的第一步，可初步筛选出包含待识别目标的数据集。常用的数据增强方法包括几何翻转、Mosaic[22]、SamplePairing[23]、Mixup[24]、Cutout[25]、CutMix[26]和Fmix[27]，上述数据增强方法丰富了训练和测试的样本，提升了模型的稳定性。除此之外，Mixup、CutMix等可结合数据增强策略进一步提升模型性能，数据增强策略包括Autoaugment、Rand Augment、Fast Autoaugment和Trivial Augment等[28]。数据打标签是指为待识别目标打上特定标签，为模型学习样本做准备。常用的打标签工具有Labelimg[29]或Labelme，Labelimg主要用于对目标进行大致的标定，常见有框选标定，用于目标检测；Labelme主要用于较为细致的轮廓标定，用于语义分割或实例分割。对于识别图像中渔获物或其他目标，需要人工标注；对于判定渔船状态的图像，可使用机器打标签。预处理方法多是针对二维图像，但在当前海洋渔业捕捞生产中，特别在远洋渔业领域多为视频数据，对视频数据的预处理方法，大多先采用降维，再选择二维图像预处理方法处理数据，也有使用视频软件按帧数输出二维图像进行降维的。

表2 数据预处理方法、特点和适用场景Tab.2 Preprocessing methods，features and applicable scene of data

序号 No.类别 category方法 method特点 feature适用场景 applicable scene1数据清洗人工筛选有效剔除无用数据;需要人工选择大量待审查的原始数据2数据增强图像翻转、剪裁、旋转操作简单;增加样本量有效样本量占比较少噪声、模糊、擦除、填充提升模型的泛化能力背景单一;小目标数据Mosaic、SamplePairing、Mixup丰富样本图像,提升模型性能待检测目标单一,进一步提升模型性能Cutout、CutMix将裁剪区域随机替换为零像素或其他数据像素值,提高模型识别能力待检测目标被遮挡;样本中小目标占比低Fmix高频与低频区域二值化形成掩膜,对像素加权,增强识别能力大目标检测与识别Autoaugment、Rand Augment、Fast Autoaugment、Trivial Aug-ment提升样本混合效果;有效减少打标签的工作量常与Cutout、CutMix、Fmix等结合,用于提升模型性能 3数据打标签目标命名操作简单;人工操作费时样本量较少;待检测小目标占比高;多目标检测与识别

1)深度学习模型。卷积神经网络(CNN)是深度学习模型中的一种基础模型，其广泛应用于图像分类。CNN基础架构：导入一个图像作为输入层，对输入的图像进行若干“卷积+池化”，最后利用全连接层实现图像的分类。随着深度学习模型在各领域的应用逐渐增多，传统模型的缺陷愈发明显，最终难以达到理想效果。有学者选择在原有模型基础上，逐步加入新的模型改进或设计新的模型，在以CNN为基础的经典网络中，LeNet5是开山之作，AlexNet开始展现出CNN的强大[28]，并为后续模型的改进提供了经验和技术。在海洋渔业生产领域研究较成功的模型主要有VGG系列[30]、ResNet系列[31]、Inception系列[32]、R-CNN系列[33]和YOLO系列[34]等。

2)模型的分类。根据检测问题的步骤不同，深度学习模型可划分为两阶段目标检测模型和一阶段目标检测模型。其中，两阶段目标检测模型，是指先产生候选区域，后对候选区域进行分类；一阶段目标检测模型，是指直接产生目标的类别概率和位置坐标值。两阶段目标检测模型中，发展迅速的模型有以R-CNN为基础的Fast R-CNN、Faster R-CNN、Mask R-CNN等。图2简述R-CNN系列具有代表性模型的发展、功能。2014年，Girshick等[35]提出R-CNN模型，应用后发现了模型存在弊端，将特征提取、分类和回归整合，提出了Fast R-CNN[36]。2017年，Ren等[37]在Fast R-CNN基础上加上候选框生成模型，提出了Faster R-CNN模型。2017年，He等[38]在Faster R-CNN模型基础上增加了预测分割Mask分支,建立了Mask R-CNN模型。R-CNN模型的不断创新，促进了两阶段目标检测模型识别被遮挡目标或变形目标精度的不断提升。

图2 4种两阶段目标检测模型Fig.2 Four types of two-stage target detection model

与一阶段目标检测模型相比，两阶段目标检测模型检测精度较高，但其检测速度较慢。一阶段目标检测模型主要有SSD、RetinaNet、YOLO系列等，其中，YOLO系列模型因检测速度快、精度不断提升得到学者青睐。表3简述YOLO系列模型的功能、提升和应用情况，其发展过程主要包括：2016—2018年，Redmon等[39-41]从YOLOv1完善至YOLOv3；2020年，Bochkovskiy等[22]提出YOLOv4模型；2021年Ultralytics公司推出了YOLOv5模型[42]。YOLO系列极大地提高了检测速度，可满足渔业捕捞实时监测的要求。

表3 YOLOv1～YOLOv5目标检测模型及应用Tab.3 Model and application of YOLOv1 to YOLOv5 target detection network

序号No.模型model模型功能model function性能提升performance improvement应用application 1YOLOv1检测速度快,每秒处理 45 张图像;迁移能力强;对大目标有良好的定位精度新的算法领域。在不考虑准确率的情况下,其速度快于其他系列方法— 2YOLOv2采用Darknet-19网络特征提取;运用批量标准化;Anchor boxes确定目标位置在YOLOv1基础上提高了模型的召回率,提高了小目标检测精度、训练速度检测SAR 图像中的船舶[43]识别4种金枪鱼、鲨鱼和海豚鱼[44] 3YOLOv3采用Darknet-53网络特征提取;利用多尺度特征检测目标;采用逻辑回归分类与YOLOv2相比,Darknet-53与轻量级的Tiny-darknet分别使精度更高、速度更快检测高浑浊度和背景噪音的野生鱼类图像[45]检测白天自然光照和夜晚人工光照下的鱼类图像[46]检测与识别矿石船、散货船、普通货船、集装箱船、渔船和客船[47]4YOLOv4在普通的单GPU上训练;提供更多Tricks;超快速较精确的目标检测器在COCO目标检测数据集上与YOLOv3相比, 精度AP和速度FPS分别提高10%和12%学习声学图像,实现鱼类分类、检测[48]检测与识别矿石船、散货船、普通货船、集装箱船、渔船和客船[49] 5YOLOv5提供Yolov5l、Yolov5m、Yolov5s和Yolov5x 4种深度、高度不同的网络模型网络结构可自主选择配置运用4种模型检测金枪鱼与浮球[18]

深度学习模型擅长从大量标记特征数据中学习，但面对实际应用场景中无足够大小的数据集时，选择的训练模型更多是随机初始化，过程中需要反复调整模型，最终效果难以预知。在实际应用中，解决上述问题的方法大多是建立在预训练模型之上，即迁移学习。根据有无专用的大型数据集分为新模型训练和迁移学习训练。

1)新模型训练。 在捕捞生产中，面对不具有可使用的大型或专有数据集情况下，首先需要花费大量时间和资金，通过人工或摄像头等方式获取数据。然后通过构建网络结构与更改激活函数，进而改进原有模型。

2)迁移学习训练。迁移学习方案应用最为广泛，可分为微调模型和固定特征模型两种实现方式。微调模型迁移训练是指在非常大的数据集上对卷积神经网络进行预训练，运用预训练后的模型初始化网络，模型的其他部分按照正常训练流程进行。固定特征模型迁移训练是指将预训练后模型的最后一个全连接层删除，保持其余网络的权重不变，即以其余卷积神经网络作为新数据集的固定特征提取器，并将具有随机权重的新层作为最后一个全连接层，仅训练具有随机权重的新层。根据两种主要迁移学习方式，提出4种数据情况和2种模型选择的建议(表4)。

表4 4种典型场景下迁移学习模型选择Tab.4 Selection of transfer learning models in four typical scenarios

序号 No.数据集特点 dataset features缺点 defect模型选择 suggestion1新数据集较小,与原始数据集相似数据量小,易产生过拟合选择微调模型。在 CNN 代码上训练线性分类器2新数据集较大,与原始数据集相似训练时间可能较长两种模型均可。可尝试部分模型微调,也可将整个模型微调提升精度3新数据集较小,与原始数据集有较大差异数据量小,易过拟合;因与原始数据不同,原模型已具备特定数据集的功能,会导致精度差选择微调模型。仅在网络靠前的位置(非顶部)激活训练线性分类器 4新数据集较大,与原始数据集有较大差异训练时间可能较长选择微调模型。使用预训练模型的权重进行初始化,数据可用于调整

海洋捕捞生产中，利用深度学习方法主要实现目标检测和目标分类功能，根据实际应用中实现的功能不同，评价模型性能可分为目标检测性能指标和目标识别性能指标(表5)。

表5 不同功能下评价模型性能的指标Tab.5 Model evaluation performance indicators under different functions

序号 No.功能 function评价指标 evaluation indicator1目标检测MAP、IOU、FPS2目标分类准确率、精确率、召回率、F1-score、AP、AUC

1)目标检测性能指标。平均检测精度(mean average precision，MAP)是衡量模型平均检测和分类能力的重要指标，当MAP大于提前设定的阈值时，则认为检测成功，且MAP值越大越好；交并比(intersection of union，IOU)指预测框与真实框的重叠率，重叠率越高越好；检测速度(frames per second，FPS)指一秒钟可处理图像的数量，处理的数量越多，模型运算能力越强。

2)目标分类性能指标。精确率(precision)是预测结果为正的样本中真正样本与所有预测结果为正的样本的比值，可反映一个类别的预测正确率。召回率(recall)是预测结果中的正样本与数据集所有正样本的比值，可衡量模型找到所有相关目标的能力。准确率(accuracy)一般用于评价模型的全局准确程度，可衡量模型找到相关目标的能力。一个较好的分类器性能应该有如下表现：召回率增长的同时，准确率保持较高水平。实际情况中，仅依据精确率或召回率不能全面评价模型的优劣，可采用绘制模型的精确率-召回率(precision-recall，P-R)曲线，横轴为召回率，纵轴为精确率，P-R曲线包围面积为检测精度(average precision，AP)，AP值越大，说明模型性能越好。F1-score为精确率和召回率的调和平均值，根据P-R曲线可计算出F1-score值，F1-score值越高，说明模型的稳健性越好。ROC曲线(receiver operating characteristic curve)由改变分类的阈值产生，AUC (area under curve)是指ROC曲线与坐标轴组成的面积，AUC值越大，说明模型性能越好。

深度学习模型可为海洋领域智能化发展提供强有力的技术支持，特别是在海洋渔业生产领域的检测与识别中，可通过训练SAR影像、人工标定或者算法跟踪的目标局部特征，以及语义、视频帧[3]等实现目标检测与识别。目前，深度学习方法在海洋渔业捕捞生产中有着较为广泛地应用，表6和表7简述了深度学习在海洋渔业捕捞生产应用中获取数据的方法、模型及适用场景，面对不同的研究需求，表6中几种获取数据的方法可供选择；面对等量、等质量的输入数据，表7中模型可供选择。图3简述了模型中应用最广泛的YOLO、R-CNN模型，并举例说明其应用目标，如渔船与渔船行为、渔获物、渔场预报、船员和渔具等。

图3 模型及应用Fig.3 Model and application

表6 数据搭载平台及适用场景Tab.6 Data acquisition platform and applicable scenarios

序号No.搭载平台carrying platform适用场景applicable scene1卫星拍摄大目标、获取长周期数据,如舰船、整个渔场环境因子变化等2无人机数据量需求少、质量要求高,如进港渔船、受保护海洋生物等3船载监控数据量需求大、数据全面、周期长,如渔获物、船员、渔具和渔船作业状态等4水下监控需要视频或音频数据,数据量需求一般,如各类海洋生物声音

表7 模型及适用场景Tab.7 Models and applicable scene

序号 No.模型 model适用场景 applicable scene1YOLO系列要求大目标、边框和定位精度低,选YOLOv1要求检测速度较快,待检测大目标较多、小目标较少,选YOLOv2同时要求较高检测速度和精度,目标定位精度较低,选YOLOv3要求检测速度较快,同时检测目标精度高,GPU需求低,选YOLOv4要求检测速度超快,同时检测目标精度高,可快速部署,选YOLOv52R-CNN系列要求检测精度较高,分类准确率较高,定位精度良好,选R-CNN要求检测速度良好,分类准确率较高,定位精度较高,选Fast R-CNN要求检测速度较快,分类准确率高,定位精度较高,选Faster R-CNN要求分类准确率高,定位精度高,选Mask R-CNN

运用深度学习方法检测和识别渔船及渔船行为是当前智能化监测渔船捕鱼行为的热门研究方法(表8)。利用深度学习模型检测与识别SAR影像中的各类船舶，可确定渔船进出港口时间，促进渔船规范出港，如表8前两个研究数据源均为SeaShips数据集，特征增强的AE-YOLOv3模型识别准确率较高，其扩充样本量为YOLOv4的两倍是检测效果提升的原因之一，但相应的训练耗时也会增加。基于VMS(vessel monitoring system)获取的空间数据，运用深度学习方法识别渔船捕鱼行为也是当下研究的热点之一。2020年，Gao等[50]提出了一种基于特征融合的VMS渔船作业类型识别算法，提高了渔船作业类型识别的准确性。2022年，Wang等[51]建立了3D卷积神经网络模型，实现了限额捕捞渔船状态识别方法。目前，YOLOv3、YOLOv4对于常见船只的识别准确度较高，但两阶段算法识别船舶的应用较缺乏，其中，Faster R-CNN可直接对全局提取特征，建议采用Faster R-CNN分析不同类型渔船的特征，如有无桁架、有无集鱼灯等。VMS数据作为模型输入参数，可通过增加有效参数量提升识别渔船行为的准确率。

表8 深度学习应用于渔船及渔船行为识别的研究Tab.8 Research on the application of deep learning in fishing boats and fishing boat behavior recognition

序号No.模型model研究内容research content研究创新research innovation研究目的research purposes 1YOLOv4[52]2020年,区分矿石船、散货船、普通货船、集装箱船、渔船和客船,准确率为97.62%运用SeaShips数据集和创建新数据集测试 2AE-YOLOv3[53]2020年,提升了对矿石船、散货船、普通货船、集装箱船、渔船、客船等的单目标、多目标和遮挡目标的检测效果,准确率为98.72%嵌入特征注意模块;改进特征融合部分规范海上交通 3BiLSTM[54]2022年,判别渔船与非渔船、渔船类型,平均准确率分别为93.6%、97.0%,平均精确率分别为95.6%、97.6%根据船舶空间、时间和行为信息识别渔船 4BP神经网络[55]2019年,识别渔船捕鱼行为,准确率为79%以航向角、航速为输入参数,识别渔船捕鱼行为规范渔船行为5Lightgbm[56]2022年,对比XGBoost、LightGBM、CatBoost识别围网、拖网和刺网捕鱼行为,准确率分别为93%、94%、92%根据速度、航向角和经纬度等特征识别渔船行为

海洋渔获物作为全球捕捞渔业产量增长的主要驱动力，巨大的捕获量可能会影响海洋生物的生态平衡，因此，对其监管刻不容缓。如果未来仅靠观察员手动记录的渔获日志作为规范指标，成本高且准确度较低，而采用深度学习方法，其自动检测和识别鱼类的能力较突出，可作为规范海洋捕捞的技术手段。近几年，为规范捕捞量、监测生物多样性、获取海洋资源管理指标、保护海洋物种及监测入侵物种，许多学者利用深度学习模型训练渔获物及受保护海洋生物(表9)，随着模型的不断改进或创新，各国可通过深度学习方法收集准确的数据，以规范海洋渔业的捕捞生产。

表9 不同研究的目的及模型Tab.9 Objectives and algorithm models of different studies

序号No.模型model研究内容research content研究创新research innovation研究目的research purposes 1VGG16、Inception-V32017年,自动识别深海鱼类(金枪鱼、比目鱼、鲨鱼和其他),VGG16准确率为94.5%, Inception-V3准确率为92.25%[8]迁移学习,开发两个卷积神经网络分类器规范捕捞量 2VGG162019年,自动识别长鳍金枪鱼、大眼金枪鱼、黄鳍金枪鱼、蓝马林鱼、印度-太平洋旗鱼和剑鱼,准确率达96.24%[57]基于VGG16的迁移学习 3微调VGG162019年,提高目标小、背景干扰强的鱼类识别,平均准确率为97.66%,对部分鱼的平均识别准确率达到了99.43%[9]基于VGG16的迁移学习 4Inception-V32018年,识别分类大西洋的鳕、鲱和鲭,准确率达94%[10]合成数据训练网络 5Inception-ResNetv22019年,识别海面变形鱼类,优于传统Softmax分类器[58]引入时间约束训练,分类运用加权多数投票 6Mask R-CNN2019年,识别拖网渔船的弃鱼,细粒度分类器可以较好地解决鱼类物种识别问题[59]开发计算机视觉系统,分离、分割单个鱼类及物种分类 7DCNN2020年,分级分类地识别延绳钓捕捞的鱼种,优于经典的平面分类系统,显著提高尾类物种识别的准确性[50]基于视频的分层鱼类分类8ResNet-502020年,复杂水下环境中鱼类物种的分类,准确率为98.03%[60]开发自动分类系统取代人工监测生物多样性9Faster R-CNN2020年,识别北太平洋火枪乌贼、褶鱿鱼和柔鱼,单目标与多目标的平均准确率分别为85.7%、80.1%,识别时间为0.144 s[12]一种鲁棒、快速、高通量和低成本的鱿鱼分类系统10YOLOv3、Norfair和YOLOv42021年,识别声学图像,跟踪鱼种,结果验证了深度学习可取代人类完成数十万个鱼类物种的检测和视频分类,优于Mask R-CNN[48]跟踪算法、识别算法结合,分别训练声学图像、鱼类图像11CNN2020年,检测鱼头、尾叉及彩板,实现鱼类体长自动测量,检测准确率为98.78%,自动测量口鼻至叉的长度误差为4.26%[11]从色板获得的像素距离比海洋资源管理指标12Mask R-CNN2020年,自动预筛选金枪鱼、马林鱼和鲨鱼,并计数、估计体长。检测召回率为 97.58%,平均精度为93.51%;识别准确率为98.06%;计数召回率为93.84%,准确率为 77.31%[3]采用时间阈值法去除假阳性检测,采用距离阈值法避免重复计数13Mask R-CNN2020年,鱼类瞳孔、眼睛、尾柄长与宽的分割与测量,平均误差为3%,体长、体宽平均相对误差小于1.8%[61]自制图像采集装置14CNN2019年,识别11种海鸟,总体准确率为93%,其中黑脚信天翁和莱桑信天翁的准确率均为100%[6]设置多光谱相机滑槽获取数据保护物种15InceptionResNet v22020年,识别夜光游水母Pelagia noctiluca、肺状根口水母Rhiz-ostoma pulmo、地中海水母Cothyloriza tuberulata,准确率为95.2%[62]创建数据集,迁移学习,引入时间序列处理技术16CNN集成模型2020年,识别白鲸声信号,准确率为96.57%,召回率为92.26%[7]训练频谱图,集成模型17VGG162020年,识别七鳃鳗Lampetra japonicum,识别率为96%[63]运用扫描仪获取图像,迁移学习监测入侵物种

深度学习方法应用于渔获物的检测和识别，可实现渔获物的计数、分类及体长与体宽的测量。具有代表性的两阶段目标检测模型Mask R-CNN，已经被用于解决图像或视频中目标检测、计数和测量的问题。如2022年，Palmer等[64]运用Mask R-CNN设计了一个自动估计海豚数量与平均叉长的模型，平均精度为79.8%，海豚级别精度为96.06%，海豚级别召回率为90.54%，模型精度为86.10%。两阶段目标识别模型精度较高，但其检测速度较慢，且需要多个GPU训练模型。一阶段目标识别模型应运而生，其中，具有代表性的YOLO模型可在短时间内完成模型的训练，并实现目标检测，该模型也被学者应用于渔获物的检测。2021年，王书献等[18]运用YOLOv5中的4种模型检测金枪鱼与浮球，结果证明，YOLOv5l模型最适用于检测金枪鱼。虽然深度学习技术的精度与速度不能同时满足实际需求，但应优先考虑精度，对特定鱼种开展模型预训练，在保持鱼类识别、计数等准确度的同时，加强对有遮挡物的相似鱼种的识别，通过提取目标区域周围多尺度上下文信息特征，进一步提升识别精度。

为了在捕捞作业期间将捕捞能力最优化，常采用新的渔场寻找技术，较准确地判断渔场位置，可减少寻找鱼类的时间，减少油耗，增加下网次数，从而提高捕捞产量。目前，大多数渔民仍依据自身经验判断渔场位置，效果不尽如人意。为解决这一问题，2020年，Xu等[65]将配备北斗导航渔船返回的轨迹数据输出热力图，运用CNN模型寻找图像中与尺度、方向相关的高概率数据，以估计未来渔场位置。2021年，Fu等[5]提出一种Faster R-CNN结合支持向量回归的方法，从二维海洋环境模式预测鲣鱼捕捞量，所提方法比普通渔民的经验预测准确率平均提高了3%。目前，分别应用卷积神经网络模型学习渔船轨迹或海洋环境因子分布来预测渔场，预测的渔场较人为判断准确，建议今后将渔船轨迹与海洋环境因子分布结合起来，预测渔场位置。

人员定位系统已广泛应用于民用船舶安全管理系统中，实现了对大型船舶的人员管理和安全事故中人员的疏散和逃生管理。与大型船舶相比，中小型船舶状况较差、设备不足，需要采取措施加以改善。已有学者开展了运用深度学习方法提高船员人身安全系数的研究。如2019年，Ma等[66]运用融合算法对视频中的人脸图像资源进行采集和整合，并运用R-CNN训练来往船上的人脸，搭建了船员人脸识别定位分析应用平台，通过识别人脸，实现了船上人员的定位；2021年，Kim等[67]运用YOLOv2识别船员人脸，建立了船员坠落检测系统，并经过测试验证了系统的可用性，船员识别的平均精度为46.76%。由于每艘渔船人员不能固定，建议渔业部门汇总并预训练船员人脸信息，形成合法船员识别系统，以提高船员的安全保障能力。

非法、未报告和无管制的捕捞活动，是对海洋生态系统和可持续渔业的全球性威胁。运用深度学习方法检测渔具并对渔具计数，可为监管捕鱼行为提供辅助信息。2017年，Branquinho等[68]运用CNN训练船载摄像机拍摄的360张有渔具与无渔具的图像，实现自动学习算法检测并记录捕鱼活动，准确率约为85%，并且成功实现渔具计数。2020年，汤先锋等[69]基于VMS获取的刺网和拖网渔船数据，微调VGG16模型后，实现了辅助刺网、拖网作业类型的识别，检测精度达94.3%。目前，深度学习方法可通过检测二维图像中渔具特征进而判断捕鱼事件的发生，却无法判断放网还是收网。建议数据采用视频帧[70]，加入时间维度可实现判断。

目前，利用深度学习技术解析海洋捕捞渔船捕捞信息还未得到广泛应用，究其原因有诸多方面，如人为干扰、监测环境复杂、监测技术限制、捕捞方式多样和渔业管理需求存在差别等。

1)人为干扰。渔船作业中不仅可能存在非法转载，以及误捕的海鸟、海龟和鲨鱼等是否及时放生等问题，而且还可能存在涉及渔业捕捞商业秘密等问题。为防止不合理的作业行为被记录，船员会故意损坏、关闭摄像机，影响数据获取。

2)监控设备部署。海洋渔业捕捞作业是一种流程复杂、协调性高的多人合作作业方式，并且渔船“一船一型”，渔具收放、渔获收集等所在的操作位置、占用空间大小存在差别，以及监控设备安装的适宜性等，直接影响渔获、渔具和船员作业等信息获取的完整性。

3)光照因素制约。除摄像机本身因素外，光照是影响成像质量的主要因素，影响光照的条件主要有4方面因素：一是，海上作业天气多变，阴、雨、雾会对灯光或自然光光照产生影响；二是，捕捞作业全天均可能进行，不同时刻自然光差别大；三是，晚上作业渔船使用照明灯有多种，不同灯光的亮度、强度存在差异，有时目标还存在阴影；四是，渔具材料多样，渔获反光影响成像等。

4)目标因素制约。识别检测的目标具有多尺度、多角度和不完整等问题。如渔获物在甲板上放置角度不固定，渔获物大小差别大，同种鱼类个体大小也存在差异，从而影响目标的识别和测量。部分作业方式动作相似度高，少量图片难以区分，如卷绳机放线和收线就难于区别。船员上鱼或收放渔具等操作动作快，需要开发快速识别检测的模型。受目标因素制约，面向海洋渔业捕捞生产的深度学习方法需要大量地标注样本训练模型，样本收集和样本标注的标准化情况也影响模型的应用推广。

5)数据量制约。海洋捕捞渔船一般至少安装4个摄像机，其图像分辨率有QCIF、CIF、D1、720 P和1 080 P。在720 P的情况下按H.264压缩，一年数据量为21TB，以现在海上通信条件，回传万分之一的数据价格高达百万，故实时获取捕捞信息时，数据量成为制约因素。

6)渔业管理需求差别。各个国家和区域，以及各海域渔业组织，受其渔业资源种类、捕捞方式、管理流程和关注角度等因素影响，对电子监控获取内容千差万别，受电子监控解析技术限制，许多需求还未能满足。

通过总结深度学习技术的应用发现，获取原始数据的方法多为电子监控拍摄，预处理方法中应用最多的是数据扩充、数据压缩和数据标签，训练对象包括图像、视频帧和音频。实现海洋渔业生产目标检测的主流方法是深度学习，总结近几年深度学习在海洋渔业捕捞生产中的应用发现：模型中两阶段目标检测模型检测精度高但速度较慢，一阶段目标检测模型检测速度快但精度较差；两阶段模型中R-CNN系列愈发精准，一阶段模型中YOLO系列模型检测速度保持较高的同时精度在不断提升，当YOLO系列模型具有数量充足的高质量数据时，则与两阶段模型精度相近。针对目前模型在海洋渔业捕捞应用中存在的问题，今后需在以下方面重点开展工作：

1)利用迁移学习或强化学习等方法来拓展识别目标种类及增强检测模型。当前大多数目标检测方法，对于检测识别数据集上干扰程度低的目标准确率较高(如检测图像中仅有单一的鱼种)，对海洋环境中如遮挡、模糊、光线变化和物体变形等目标检测识别的鲁棒性较差，因此，在缺少待验证目标经验的条件下，利用迁移学习或强化学习等方法来拓展识别目标种类及增强检测算法，实现目标的精确检测是未来的研究热点之一。

2)利用高精度的特征提取网络有效提高目标分类准确率。当前大多数目标检测模型运用性能较高的分类网络完成特征提取。然而，检测与识别分类间的差异性致使深度学习的结果会产生误差，因此，研究适用于海洋渔业生产相关目标检测的特征提取网络很有必要。此外，特征提取网络的参数规模需要耗费大量硬件资源进行训练，为满足实时目标检测需求，如何压缩和加速网络训练也是一个值得研究的方向。

3)通过边缘计算技术解决电子监控实时解析和数据传输压力。边缘计算的发展及云计算、大数据和物联网技术的发展息息相关，其核心是保障网络边缘侧应用的实时性问题。AI摄像机、AI船载处理器的出现为电子监控数据实时解析提供了条件，电子监控中使用具有GPU计算能力的终端，利用边缘计算技术，实时提取捕捞作业信息并发回，基本可以解决数据量问题。

4)制定统一标准以规范电子监控在渔业管理中的应用。各国负责自己专属经济区内的渔业资源管理，区域渔业管理组织(regional fisheries management organizations，RFMO)共同负责管理世界上大多数高度洄游的鱼类种群。为确保渔业发展的可持续性，需要有关渔获量、兼捕量、捕捞努力量和法规遵守情况的可靠数据。电子监控可以实现高覆盖率，是人类观测员的有效辅助或替代手段，通过一套技术和操作标准实施统一的电子监控方法，对于确保信息准确收集和共享至关重要。目前，中国在渔船电子监控方面研究薄弱，且电子监控涉及商业信息和隐私，因此，需要加快电子监控相关研究积累，实现数据自控，制定中国电子监控标准，在国际渔业管理中提出中国方案，发挥中国负责任的渔业大国作用。

参考文献：

[1] 联合国粮食及农业组织.世界渔业和水产养殖状况[M].罗马:联合国粮食及农业组织,2020.

Food and Agriculture Organization of the United Nations.The state of world fisheries and aquaculture[M]Rome:Food and Agriculture Organization of the United Nations,2020.(in Chinese)

[2] EWELL C,HOCEVAR J,MITCHELL E,et al.An evaluation of regional fisheries management organization at-sea compliance monitoring and observer programs[J].Marine Policy,2020,115:103842.

[3] VAN A T M,MORTENSEN L O,PLET K S,et al.Electronic monitoring in fisheries:lessons from global experiences and future opportunities[J].Fish and Fisheries,2020,21(1):162-189.

[4] 季晓宇.基于深度学习的水下鱼类目标检测及鱼体分割算法研究[D].天津:天津理工大学,2021.

JI X Y.Research on algorithms of underwater fish target detection and fish body segmentation based on deep learning[D].Tianjin:Tianjin University of Technology,2021.(in Chinese)

[5] FU A,PATIL K R,IIYAMA M.Region proposal and regression network for fishing spots detection from sea environment[J].IEEE Access,2021,9:68366-68375.

[6] FITZGERALD S,WALLACE F,ROMAIN S,et al.Improving seabird species identification in electronic monitoring applications using machine learning systems[C]//2019 ACAP ninth meeting of the seabird bycatch working group.Florianopolis,Brazil:ACAP,2019.

[7] ZHONG M,CASTELLOTE M,DODHIA R,et al.Beluga whale acoustic signal classification using deep learning neural network models[J].The Journal of the Acoustical Society of America,2020,147(3):1834.

[8] TUNG C,HSIEH C L,KUO Y F.Sea fish identification using convolutional neural network[C]//2017 ASABE annual international meeting.Spokane,Washington,USA：American Society of Agricultural and Biological Engineers，2017.

[9] 陈英义,龚川洋,刘烨琦,等.基于FTVGG16卷积神经网络的鱼类识别方法[J].农业机械学报,2019,50(5):223-231.

CHEN Y Y,GONG C Y,LIU Y Q,et al.Fish identification method based on FTVGG16 convolutional neural network[J].Transactions of the Chinese Societyfor Agricultural Machinery,2019,50(5):223-231.(in Chinese)

[10] ALLKEN V,HANDEGARD N O,ROSEN S,et al.Fish species identification using a convolutional neural network trained on synthetic data[J].ICES Journal of Marine Science,2018,76(1):342-349.

[11] TSENG C H,HSIEH C L,KUO Y F.Automatic measurement of the body length of harvested fish using convolutional neural networks[J].Biosystems Engineering,2020,189:36-47.

[12] HU J,ZHOU C Q,ZHAO D D,et al.A rapid,low-cost deep learning system to classify squid species and evaluate freshness based on digital images[J].Fisheries Research,2020,221:105376.

[13] TSENG C H,KUO Y F.Detecting and counting harvested fish and identifying fish types in electronic monitoring system videos using deep convolutional neural networks[J].ICES Journal of Marine Science,2020,77(4):1367-1378.

[14] CHEN D H,SUN S R,LEI Z J,et al.Ship target detection algorithm based on improved YOLOv3 for maritime image[J].Journal of Advanced Transportation,2021(10):1-11.

[15] 顾郑平,朱敏.基于深度学习的鱼类分类算法研究[J].计算机应用与软件,2018,35(1):200-205.

GU Z P,ZHU M.Fish classification algorithm based on depth learning[J].Computer Applications and Software,2018,35(1):200-205.(in Chinese)

[16] 夏文辉,万剑华,郑红霞,等.基于深度学习的光学遥感影像舰船检测算法对比分析[J].海洋科学,2021,45(5):96-102.

XIA W H,WAN J H,ZHENG H X,et al.Comparative analysis of ship detection algorithms based on deep learning in optical remote sensing images[J].Marine Sciences,2021,45(5):96-102.(in Chinese)

[17] XIE J,STENSRUD E,SKRAMSTAD T.Detection-based object tracking applied to remote ship inspection[J].Sensors,2021,21(3):761.

[18] 王书献,张胜茂,朱文斌,等.基于深度学习YOLOV5网络模型的金枪鱼延绳钓电子监控系统目标检测应用[J].大连海洋大学学报,2021,36(5):842-850.

WANG S X,ZHANG S M,ZHU W B,et al.Application of an electronic monitoring system for video target detection in tuna longline fishing based on YOLOV5 deep learning model[J].Journal of Dalian Ocean University,2021,36(5):842-850.(in Chinese)

[19] 张胜茂,樊伟,张衡,等.远洋捕捞渔船电子监控视频文字信息提取[J].渔业信息与战略,2020,35(2):141-146.

ZHANG S M,FAN W,ZHANG H,et al.Text extraction from electronic monitoring video of ocean fishing vessels[J].Fishery Information & Strategy,2020,35(2):141-146.(in Chinese)

[20] 王书献,张胜茂,戴阳,等.利用声呐数据提取磷虾捕捞深度方法研究[J].南方水产科学,2021,17(4):91-97.

WANG S X,ZHANG S M,DAI Y,et al.Research on calculating fishing depth of krill by sonar data[J].South China Fisheries Science,2021,17(4):91-97.(in Chinese)

[21] DORIAN C,LEFORT R,BONNEL J,et al.Bi-class classification of humpback whale sound units against complex background noise with deep convolution neural network[EB/OL].(2017-03-31)[2022-04-05].https:// arxiv.org/abs/1703.10887.

[22] BOCHKOVSKIY A,WANG C Y,LIAO H Y M.YOLOv4:optimal speed and accuracy of object detection[EB/OL].(2020-04-23)[2022-04-05].https://arxiv.org/abs/2004.10934.

[23] INOUE H.Data augmentation by pairing samples for images classification[EB/OL].(2018-04-11)[2022-04-05].https://arxiv.org/abs/1801.02929.

[24] ZHANG H,CISSE M,DAUPHIN Y N,et al.Mixup:beyond empirical risk minimization [EB/OL].(2018-04-27)[2022-04-05].https://arxiv.org/abs/1710.09412.

[25] DEVRIES T,TAYLOR G W.Improved regularization of convolutional neural networks with Cutout[EB/OL].(2017-11-29)[2022-04-05].https://arxiv.org/abs/1708.04552.

[26] YUN S,HAN D,CHUN S,et al.CutMix:regularization strategy to train strong classifiers with localizable features[C]//2019 IEEE/CVF international conference on computer vision (ICCV).Seoul,Korea (South):IEEE,2019:6022-6031.

[27] HARRIS E,MARCU A,PAINTER M,et al.Fmix:enhancing mixed sample data augmentation[EB/OL].(2021-02-28)[2022-04-05].https://arxiv.org/abs/2002.12047.

[28] 张艳,张明路,吕晓玲,等.深度学习小目标检测算法研究综述[J].计算机工程与应用,2022,58(15):1-17.

ZHANG Y,ZHANG M L,LÜ X L,et al.A survey of deep learning small target detection algorithms[J].Computer Engineering and Applications,2022,58(15):1-17.(in Chinese)

[29] 李庆忠,李宜兵,牛炯.基于改进YOLO和迁移学习的水下鱼类目标实时检测[J].模式识别与人工智能,2019,32(3):193-203.

LI Q Z,LI Y B,NIU J.Real-time detection of underwater fish based on improved YOLO and transfer learning[J].Pattern Recognition and Artificial Intelligence,2019,32(3):193-203.(in Chinese)

[30] SENGUPTA A,YE Y T,WANG R,et al.Going deeper in spiking neural networks:VGG and residual architectures[J].Frontiers in Neuroscience,2019,13:95.

[31] WU Z F,SHEN C H,VAN DEN HENGEL A.Wider or deeper:revisiting the ResNet model for visual recognition[J].Pattern Recognition,2019,90:119-133.

[32] SZEGEDY C,VANHOUCKE V,IOFFE S,et al.Rethinking the inception architecture for computer vision[C]//2016 IEEE conference on computer vision and pattern recognition.Las Vegas,NV,USA:IEEE,2016:2818-2826.

[33] 包晓敏,王思琪.基于深度学习的目标检测算法综述[J].传感器与微系统,2022,41(4):5-9.

BAO X M,WANG S Q.A survey of target detection algorithms based on deep learning[J].Transducer and Microsystem Technologies,2022,41(4):5-9.(in Chinese)

[34] AHMAD T,MA Y L,YAHYA M,et al.Object detection through modified YOLO neural network[J].Scientific Programming,2020,84:1-10.

[35] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE conference on computer vision and pattern recognition.Columbus,OH,USA:IEEE,2014:580-587.

[36] GIRSHICK R.Fast R-CNN[C]//2015 IEEE international conference on computer vision.Santiago,Chile:IEEE,2015:1440-1448.

[37] REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.

[38] HE K M,GKIOXARI G,DOLLR P,et al.Mask R-CNN[C]//2017 IEEE international conference on computer vision.Venice,Italy:IEEE,2017:2980-2988.

[39] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//2016 IEEE conference on computer vision and pattern recognition.Las Vegas,NV,USA:IEEE,2016:779-788.

[40] REDMON J,FARHADI A.YOLO9000:better,faster,stronger[C]//2017 IEEE conference on computer vision and pattern recognition.Honolulu,HI,USA:IEEE,2017:6517-6525.

[41] REDMON J,FARHADI A.Yolov3:An incremental improvement[EB/OL].(2018-04-08)[2022-04-05].https://arxiv.org/abs/1804.02767.

[42] 张桂杰,郭泽旸,韩睿,等.基于YOLOv5的人车流量监测系统设计与实现[J].吉林师范大学学报(自然科学版),2021,42(4):118-126.

ZHANG G J,GUO Z Y,HAN R,et al.Design and implementation of the people and vehicle flow monitoring system based on YOLOv5[J].Journal of Jilin Normal University(Natural Science Edition),2021,42(4):118-126.(in Chinese)

[43] CHANG Y L,ANAGAW A,CHANG L N,et al.Ship detection based on YOLOv2 for SAR imagery[J].Remote Sensing,2019,11(7):786.

[44] WANG M F,LIU M Y,ZHANG F H,et al.Fast classification and detection of fish images with YOLOv2[C]//2018 OCEANS-MTS/IEEE kobe techno-oceans.Kobe,Japan:IEEE,2018:1-4.

[45] AKGÜL T,ÇALIK N,TÖREYiN B U.Deep learning-based fish detection in turbid underwater images[C]//2020 28th signal processing and communications applications conference (SIU).Gaziantep,Turkey:IEEE,2020:1-4.

[46] STAVELIN H,RASHEED A,SAN O,et al.Applying object detection to marine data and exploring explainability of a fully convolutional neural network using principal component analysis[J].Ecological Informatics,2021,62:101269.

[47] CUI H Y,YANG Y,LIU M Y,et al.Ship detection:an improved YOLOv3 method[C]//OCEANS 2019-Marseille.Marseille,France:IEEE,2019:1-4.

[48] KANDIMALLA V V.Deep learning approaches to classify and track at-risk fish species[D].Halifax:Dalhousie University,2021.

[49] WANG Z Q,ZHOU Y,WANG F T,et al.SDGH-net:ship detection in optical remote sensing images based on gaussian heatmap regression[J].Remote Sensing,2021,13(3):499.

[50] GAO B T,WANG L,ZHAI Z G,et al.Identification algorithm of fishing vessel operation type based on Feature Fusion[C]//2020 IEEE international conference on artificial intelligence and information systems.Dalian,China:IEEE,2020:230-234.

[51] WANG S X,ZHANG S M,LIU Y,et al.Recognition on the working status of Acetes chinensis quota fishing vessels based on a 3D convolutional neural network[J].Fisheries Research,2022,248:106226.

[52] STRAUHS M,PAULINO DE LIRA A R,FERNANDES RAMOS R,et al.A deep convolutional neural network applied to ship detection and classification[C]//Anais do 28o congresso internacional de transporte aquaviário,construção naval e offshore.Online:SOBENA,2020:1-9.

[53] WANG F J,YANG X H,ZHANG Y L,et al.Ship target detection algorithm based on improved YOLOv3[C]//Proceedings of the 2020 3rd International Conference on Big Data Technologies.Qingdao China:ICPS,2020:162-166.

[54] 杨胜龙,史慧敏,张胜茂,等.基于BiLSTM模型的远洋渔船类型识别研究[J].海洋科学,2022,46(3):25-35.

YANG S L,SHI H M,ZHANG S M,et al.Pelagic fishing vessel classification using bidirectional long short-term memory networks[J].Marine Sciences,2022,46(3):25-35.(in Chinese)

[55] FENG Y,ZHAO X L,HAN M X,et al.The study of identification of fishing vessel behavior based on VMS data[C]//ICTCE ’19:Proceedings of the 3rd international conference on telecommunications and communication engineering.Tokyo,Japan:ICTCE,2019:63-68.

[56] ZHANG L,XING B W,CHEN X,et al.Ensemble learning based fishing behavior analysis for vessels around Zhoushan Islands erea[J].Journal of Physics:Conference Series,2022,2213(1):012012.

[57] LU Y C,TUNG C,KUO Y F,et al.Identifying the species of harvested tuna and billfish using deep convolutional neural networks[J].ICES Journal of Marine Science,2019,77(4):1318-1329.

[58] HUANG T W,HWANG J N,ROMAIN S,et al.Recognizing fish species captured live on wild sea surface in videos by deep metric learning with a temporal constraint[C]//2019 IEEE international conference on image processing.Taipei,Taiwan,China:IEEE,2019:3407-3411.

[59] FRENCH G,MACKIEWICZ M,FISHER M,et al.Deep neural networks for analysis of fisheries surveillance video and automated monitoring of fish discards[J].ICES Journal of Marine Science,2019,77(4):1340-1353.

[60] MATHUR M,VASUDEV D,SAHOO S,et al.Crosspooled fishnet:transfer learning based fish species classification model[J].Multimedia Tools and Applications,2020,79(41/42):31625-31643.

[61] YU C,FAN X,HU Z H,et al.Segmentation and measurement scheme for fish morphological features based on mask R-CNN[J].Information Processing in Agriculture,2020,7(4):523-534.

[62] MARTIN-ABADAL M,RUIZ-FRAU A,HINZ H,et al.Jellytoring:real-time jellyfish monitoring based on deep learning object detection[J].Sensors,2020,20(6):1708.

[63] EICKHOLT J,KELLY D,BRYAN J,et al.Advancements towards selective barrier passage by automatic species identification:applications of deep convolutional neural networks on images of dewatered fish[J].ICES Journal of Marine Science,2020,77(7/8):2804-2813.

[64] PALMER M,LVAREZ-ELLACURA A,MOLT V,et al.Automatic,operational,high-resolution monitoring of fish length and catch numbers from landings using deep learning[J].Fisheries Research,2022,246:106166.

[65] XU W J,XIE Q,MA Y.Research on fishery trajectory analysis and fishing ground discrimination based on CNN[C]//2020 19th international symposium on distributed computing and applications for business engineering and science (DCABES).Xuzhou,China:IEEE,2020:83-86.

[66] MA C,CHEN L,YANG C P,et al.A deep learning based personnel positioning system for key cabin of ship[C]//2019 international conference on intelligent computing,automation and systems (ICICAS).Chongqing,China:IEEE,2019:492-496.

[67] KIM B S,WOO Y T,YU Y H,et al.Fundamental research for video-integrated collision prediction and fall detection system to support navigation safety of vessels[J].Journal of Ocean Engineering and Technology,2021,35(1):91-97.

[68] BRANQUINHO J M A.Detection and identifitication of registration and fishing gear in vessels[D].Lisboa:Instituto Universitario de Lisboa,2017.

[69] 汤先峰,张胜茂,樊伟,等.基于深度学习的刺网与拖网作业类型识别研究[J].海洋渔业,2020,42(2):233-244.

TANG X F,ZHANG S M,FAN W,et al.Fishing type identification of gill net and trawl net based on deep learning[J].Marine Fisheries,2020,42(2):233-244.(in Chinese)

[70] 孙永文,张胜茂,蒋科技,等.远洋渔船电子监控技术应用研究进展及展望[J].海洋渔业,2022,44(1):103-111.

SUN Y W,ZHANG S M,JIANG K J,et al.Research progress and prospect of application of electronic monitoring technology for ocean fishing vessels[J].Marine Fisheries,2022,44(1):103-111. (in Chinese)

ZHANG Shengmao1,2, SUN Yongwen1,2, FAN Wei2, TANG Fenghua2, CUI Xuesen2, WU Yumei2

(1.College of Navigation and Ship Engineering, Dalian Ocean University, Dalian 116023, China; 2.Key Laboratory of Fisheries Remote Sensing, Ministry of Agriculture and Rural Affairs, East China Sea Fisheries Research Institute, Chinese Academy of Fishery Sciences, Shanghai 200090, China)

Abstract： With the continuous decline of global fishery resources, fishery agencies and regional fisheries management organizations of various countries use the fishery observer method to promote sustainable fishing, but the human observer method is characterized by so high cost and low coverage as to difficult to meet the management needs. In recent years, detection speed and accuracy have been continuously enhanced due to continuous emergence and improvement of new deep learning algorithms, thus providing conditions for marine fishery fishing production monitoring. The process of building a fishery production monitoring model is introduced from the aspects of data acquisition, data preprocessing, algorithm design, model training, and model accuracy evaluation. The application of deep learning technology in marine fishery fishing is discussed, and methods such as transfer learning or reinforcement learning are proposed in terms of fishing boats and boat behavior, catches, fishery forecasts, crew members, and fishing gear to expand the identification of target species and enhance detection algorithm，and use high-accuracy feature extraction network to improve the accuracy of target classification, to solve the real-time analysis of electronic monitoring data through edge computing technology and to formulate standards and specifications for electronic monitoring fishery management applications and other key research directions in the future, which provides reference for the promotion of deep learning in marine fishery fishing production.

Key words： deep learning; target detection; identification and measurement of catch; CNN; marine capture fishery production

中图分类号：S 951.2

文献标志码：A

DOI：10.16535/j.cnki.dlhyxb.2022-099

文章编号：2095-1388(2022)04-0683-13

收稿日期： 2022-04-05

基金项目： 国家自然科学基金(61936014)；中国水产科学研究院基本科研业务费(2020TD82)；浙江省海洋渔业资源可持续利用技术研究重点实验室开放课题(2020KF001)；WWF/OPF蔚蓝星球基金项目(P04593)

作者简介： 张胜茂(1976—)，男，博士，研究员。E-mail:[email protected]